The Fellowship of the Query: Learning Retrieval Actions
查询联盟:学习检索动作
🧭 RAG 检索动作控制 · LoRA 轨迹微调
University of Passau
用 teacher search traces 将 RAG 检索决策建模为 7 路动作预测,LoRA 微调小模型作为控制器,动作 F1 0.6536、端到端 EM 0.7946
📌 工作参考价值(4 点)
- 把 RAG/Agent 中隐式检索决策显式化为结构化动作空间(decompose/search/reformulate/extract/verify/stop),用 teacher trace 构造分类数据,LoRA 蒸馏到 3B 小模型;电商客服、搜索 Agent 需要低延迟可控检索时,可用 action head 替代自由生成,提高稳定性和可观测性。
- LoRA 监督微调小模型从 trajectory state 预测 next action,比 zero-shot prompting 高约 3.7 倍,可作为轻量路由器放在检索前,减少大模型调用;线上先判定动作类型再分发给对应工具,类似 query 改写/意图路由。
- TF-IDF + logistic regression 基线达到 0.5399,说明动作控制任务中词法特征很强;业务数据量小或冷启动阶段,先上线性模型做 sanity check,再逐步上 SLM。
- 单一小模型同时承担 controller 和 generator,端到端效果提升且减少服务编排复杂度;对资源受限、链路长的实时搜索/推荐 Agent,可考虑合并角色降低链式延迟。